บทนำสู่การสร้างแบบจำลองเชิงสร้างสรรค์: ก้าวข้ามการแยกแยะ

เรากำลังเปลี่ยนจาก การสร้างแบบจำลองเชิงแยกแยะ, ซึ่งแก้ปัญหาการจัดประเภทและถดถอยโดยเรียนรู้ความน่าจะเป็นเงื่อนไข $P(y|x)$ ไปสู่โดเมนที่ซับซ้อนของ การสร้างแบบจำลองเชิงสร้างสรรค์. เป้าหมายหลักของเราตอนนี้เปลี่ยนไปเป็น การประมาณความหนาแน่น: การเรียนรู้การแจกแจงข้อมูลพื้นฐานทั้งหมด $P(x)$ โดยตรง ความเปลี่ยนแปลงพื้นฐานนี้ช่วยให้เราจับภาพความสัมพันธ์ที่ละเอียดอ่อนและโครงสร้างซับซ้อนในชุดข้อมูลที่มีมิติสูงได้ ข้ามการแบ่งแยกเพียงเส้นขอบไปสู่การเข้าใจข้อมูลอย่างแท้จริงและการสร้างข้อมูลใหม่

1. เป้าหมายการสร้างแบบจำลอง: การสร้างแบบจำลอง $P(x)$

เป้าหมายของแบบจำลองการสร้างคือการประมาณการแจกแจงความน่าจะเป็น $P(x)$ จากข้อมูลฝึกสอน $X$ ที่มาจากการแจกแจงนั้นเอง แบบจำลองการสร้างที่ประสบความสำเร็จสามารถทำสามงานสำคัญได้: (1) การประมาณความหนาแน่น (กำหนดคะแนนความน่าจะเป็นให้กับข้อมูลเข้า $x$), (2) การสุ่มตัวอย่าง (สร้างจุดข้อมูลใหม่ทั้งหมด $x_{new} \sim P(x)$), และ (3) การเรียนรู้ลักษณะโดยไม่มีการระบุ (ค้นพบการแสดงผลที่มีความหมายและแยกออกจากกันในพื้นที่ซ่อนเร้น)

2. ระบบจำแนกประเภท: ความน่าจะเป็นชัดเจนเทียบกับความน่าจะเป็นแฝง

แบบจำลองการสร้างถูกจำแนกพื้นฐานตามแนวทางที่ใช้ต่อฟังก์ชันความน่าจะเป็น แบบจำลองความหนาแน่นชัดเจน, เช่น เครื่องอัตโนมัติแบบแปรผัน (VAEs) และแบบจำลองการไหล กำหนดฟังก์ชันความน่าจะเป็นทางคณิตศาสตร์ และพยายามเพิ่มค่าความน่าจะเป็นนั้น (หรือค่าต่ำสุดของมัน) แบบจำลองความหนาแน่นแฝง, ที่มีชื่อเสียงที่สุดคือ เครือข่ายการสร้างขัดแย้ง (GANs), ข้ามการคำนวณความน่าจะเป็นทั้งหมด แทนที่จะเรียนรู้ฟังก์ชันการแมปเพื่อสุ่มจากแจกแจง $P(x)$ โดยใช้กรอบการฝึกแบบขัดแย้ง

Data Synthesis and Feature Interpolation

Generative models demonstrate their capability by generating novel, high-fidelity instances (e.g., unseen faces, complex textures) or by allowing semantic interpolation in the learned latent space, illustrating the model's grasp of data variability.

Examples of AI-generated faces and interpolated features.

Question 1

In generative modeling, what is the primary distribution of interest?

$P(x)$

$P(y|x)$

$P(x|y)$

$P(y)$

Question 2

Which type of generative model relies on adversarial training and avoids defining an explicit likelihood function?

Variational Autoencoder (VAE)

Autoregressive Model

Generative Adversarial Network (GAN)

Gaussian Mixture Model (GMM)

Challenge: Anomaly Detection

Leveraging Density Estimation

A financial institution has trained an explicit density generative model $G$ on millions of legitimate transaction records. A new transaction $x_{new}$ arrives.

Goal: Determine if $x_{new}$ is an anomaly (fraud).

Step 1

Based on the density estimate of $P(x)$, what statistical measure must be evaluated for $x_{new}$ to flag it as anomalous?

Solution:
The model must evaluate the probability (or likelihood) $P(x_{new})$. If $P(x_{new})$ falls below a predefined threshold $\tau$, meaning the new point is statistically improbable under the learned distribution of normal transactions, it is flagged as an anomaly.